Разработка маркетплейсов с HighLoad каталогом как необходимость для масштабных проектов

Причина популярности маркетплейсов — в их экономической значимости для рынка. По данным Data Insight, сейчас на маркетплейсы приходится около 30% оборота онлайн-продаж и 49% всех покупок в интернете, и прогнозируется дальнейший рост. Исследование «Тинькофф eCommerce» отмечает, что за последний год количество продавцов на маркетплейсах увеличилось втрое. Очевидно, за маркетплейсами — будущее в e-commerce.

Маркетплейсы набирают обороты

Маркетплейсы буквально выживают с рынка «простые» интернет-магазины. Выдерживать конкурентную борьбу с командами маркетологов, большими бюджетами на продвижение и трафиком, отлаженными логистическими решениями интернет-магазинам все сложнее. Как вариант, остается либо примкнуть к уже существующим площадкам, либо создать свой полноценный сайт маркетплейс. Сложившаяся ситуация на рынке e-commerce имеет очевидные преимущества.

• Маркетплейсы влияют на развитие e-commerce, создают здоровую конкурентную среду, запускают собственные сервисы (инвестиционные продукты, сервисы бронирования, крупные логистические и складские программы и т.д.).
• Маркетплейс — не просто каталог или интернет-магазин, здесь предоставляется весь спектр фулфилмент-услуг: от оформления заказа/сделки до получения товара, работы с документами, платежами, включая сплитирование платежей.
• В b2c клиент может отследить весь путь заказа и оформить покупку самым удобным способом среди тысяч подходящих поставщиков, а в b2b сделка становится максимально прозрачной. Клиенты получают гарантии соответствия продукции (картинка vs реальность), безопасности, защиты от мошенников, возвратов на разных условиях. Маркетплейсы совершенствуются, тратят бюджеты на улучшение качества сервиса, формирование лояльности к бренду и персонализацию предложений.

Изменение потребительского поведения также влияет на популярность маркетплейсов. По исследованию WBR Insights, 83% покупателей регулярно совершают покупки на маркетплейсах. Неудивительно, удобнее приобретать товары и услуги в одном месте, поэтому маркетплейсы стремятся разместить в каталогах как можно больше товаров, привлечь больше поставщиков, искать новые ниши и рынки. Как следствие, наращивание аудитории увеличивает трафик и нагружает систему.

Почему маркетплейс — высоконагруженный проект

Назвать маркетплейсы только посредником между поставщиком и покупателем нельзя. Их функционал в разы обширнее, чем у интернет-магазина.

• Большое количество посетителей смотрят каталог товаров и выбирают нужный продукт.
• Персонализация выдачи в зависимости от региона и города.
• Постоянные запросы на поиск по параметрам и стоимости.
• Маркетплейс принимает сотни тысяч товаров в минуту или час.
• Маркетплейс в реальном времени распределяет товары по категориям.
• Снятие товаров из выдачи тоже регулярная процедура.
• Сотни тысяч заказов в день.
• Биллинг комиссий для управления взаиморасчетами с поставщиками
• Сплитирование платежей автоматически разделяет средства, полученные с одного платежа, между разными поставщиками, гарантируя оперативные взаиморасчеты. При этом покупатели получают максимальную защиту, т.к. площадка перенаправляет поставщику оплату за заказ покупателя только в случае успешного получения посылки и соответствия товара заявленным характеристикам.
• Маркетинговые инструменты для повышения продаж (скидки, акции, email-рассылки).
• Интеграция с логистическими сервисами для мгновенного расчета стоимости доставки.
• Разные виды доставок. Работа со склада маркетплейса или со склада поставщика обязывают рассчитывать стоимость и сроки доставки, подбирать для клиентов ближайший склад.
• Комплексные инструменты аналитики по товарным позициям и активности пользователей.

Чаще всего маркетплейсы работают по привычной схеме — одна площадка с тысячами поставщиков. Но развитие e-commerce стимулирует производителей создавать площадки под узкую нишу. Например, в качестве корпоративной площадки крупного предприятия с одним поставщиком. Или запускаются под себя, а потом уже привлекают других поставщиков с рынка. Так некоторые металлургические компании превратили свой интернет-магазин в онлайн-площадку. Выставляют товары конкурентов, зарабатывают на комиссии, плюс получают статистику продаж отраслевых товаров. Таким образом анализируют рынок и обходят конкурентов.

Реальный пример: для крупнейшего сталелитейного комбината России НЛМК платформа AGORA помогла создать КИМ (корпоративный интернет-магазин по типу маркетплейса: онлайн-каталог с товарами, ценами и поставщиками).

Для современных компаний, стремящихся к масштабированию и росту инвестиций, создание собственного сайта-маркетплейса оказывает позитивное влияние и дает конкурентные преимущества.

• Быстрый запуск и выход на рынок благодаря ускоренной разработке MVP от 2-3 месяцев. MVP решение на базе B2B платформы AGORA сокращает период от бизнес-идеи до первой прибыли. Онлайн-система «из коробки» запускается в кратчайшие сроки с разработкой по принципу конструктора. Разработка коробочного решения позволяет максимально эффективно использовать бюджеты компании и инвестиции в отличие от дорогостоящей и очень долгой кастомной разработки. А также дает возможность оперативно тестировать различные бизнес-гипотезы, быстрее завоевывать новые рыночные ниши за счет быстрой разработки и внедрения в реальные условия рынка. А далее при необходимости добавляются готовые модули или интеграции через API или Шину данных AGORA.
• Увеличение целевой аудитории, привлечение поставщиков. Хотя на это требуются инвестиции, они окупаются. Прибыль за счет комиссии и дополнительных платежей — один из способов успешной монетизации торговых площадок.
• Возможность продвигать собственную продукцию на выгодных условиях, а высокий трафик и анализ конкурентов помогают занимать лидирующие позиции на рынке.
• Повышение лояльности клиентов за счет отзывов, отлаженной системы возвратов, персонализированных личных кабинетов.
• Цифровизация продаж. Все операции выполняются через площадку. Для ускорения работы подключаются биллинг и продакт-матчинг, автоматическая выгрузка товарного контента, интеграция с маркетплейсами стороннего ПО бухучета и других систем. Автоматизация отчетов и аналитики, электронный документооборот сводят к минимуму влияние человеческого фактора.

Но если проект активно развивается, то неизбежно столкнется с высокими нагрузками. К этому приводят увеличение трафика и позиций в каталогах, сложные транзакции и вычисления. Поэтому маркетплейс смело можно назвать HighLoad (высоконагруженным) проектом, требующим выделенных серверов, обслуживания, оптимизации бизнес-процессов. Чтобы предотвратить сбои в работе, лучше заложить масштабируемую архитектуру сервиса еще до запуска. Компания AGORA занимается как раз такими разработками. В недавнем обновлении платформы AGORA был реализован HighLoad-каталог, поддерживающий десятки миллионов товаров. В коробочном решении уже изначально предусмотрены инструменты, способные выдерживать высокие нагрузки и масштабироваться без изменения архитектуры и технологий. Проще говоря, платформа AGORA еще на стадии коробочного проекта заказчика уже готова к HighLoad нагрузкам.

Как измерять нагрузку на маркетплейсе или на его подсистемах

Прежде чем приступить к разработке каждого проекта, особенно такого сложного как маркетплейс, команда AGORA всегда проводит предварительную внутреннюю аналитику. Приблизительно планируются вехи возможной RoadMap (Дорожной карты) развития проекта, то есть к какому времени приблизительно ожидается тот или иной новый этап роста загрузки системы: возросшая популярность среди пользователей, выгрузка большего количества SKU, массовая регистрация и работа новых поставщиков на площадке и так далее. Отсюда команда разработки может наметить и соответствующий план дальнейшего масштабирования системы и ее возможностей. Проще говоря, команда AGORA еще до момента реализации проекта может предварительно ориентироваться, когда может понадобиться горизонтальное масштабирование системы: к примеру, когда следует добавить новые серверные мощности, чтобы маркетплейс выдерживал практически любые нагрузки, вплоть до 10 миллионов товаров с быстрым ответом системы (от 0,5 секунды).

Тем не менее, в среде разработки крупных и сложных проектов электронной коммерции конкретные пороговые значения запросов в секунду, пиковых загрузок и прочих HighLoad факторов обычно не прогнозируются заранее с максимальной точностью. Поэтому понятие высокой нагрузки чаще всего берется как относительная величина. Важнее в данном случае не конкретные цифры в отчетах, а реальная техническая способность подготовить систему еще на этапе коробки к будущим пиковым загрузкам, заранее предусмотрев гибкий и подходящий стек технологий (к примеру, Python и Django), ускоренный доступ к данным (Elastic Stack), контейнеризацию (Docker), оркестрацию и управление кластером (Kubernetes) и прочие необходимые элементы для быстрой и эффективной работы маркетплейса даже в периоды высоких нагрузок.

Например, крупнейшие торговые площадки Amazon, Ozon, Wildberries и др. работают на тысячах серверов. Но для компании, например, с 2000 пользователей и 200 покупками в день, увеличение запросов в черную пятницу в 10 раз — уже высокая нагрузка, тут необходима возможность быстрого масштабирования и обслуживания данной нагрузки. Соответственно, в каждом случае необходим индивидуальный подход к проекту, бизнесу заказчика и специфике самого маркетплейса. Вот почему так важна специализация конкретно на сложных системах электронной коммерции, что предоставляет команда компании AGORA в процессе разработки, внедрения, ТП и дальнейшего масштабирования клиентских проектов. И при этом каждый проект еще на стадии коробки уже предусматривает базовые необходимые опции для успешной работы и готов к HighLoad нагрузкам.

Важно помнить, что HighLoad маркетплейсом можно считать такой маркетплейс, который обслуживает в 10 или 100 раз больше пользователей, заказов, чем среднестатистический маркетплейс. Для высоконагруженных систем характерны:

• большая аудитория: тысячи и сотни тысяч человек, — и ее динамичный рост (чем популярнее торговая площадка, тем выше нагрузка);
• обработка большого объема данных, в том числе миллионы SKU и тысячи транзакций в день;
• мгновенный отклик системы на запросы пользователей;
• регулярное масштабирование под растущие нужды и кластерная архитектура.

Зачем и как повышать производительность HighLoad систем

Проблемы с переходами по страницам, длительная передача данных при формировании заказа, сбросы соединений, сбои в интеграциях с внешними системами e-commerce вызывают недовольство пользователей, ведут к потери прибыли и лояльности.

Избежать негативных последствий можно с помощью архитектуры highload проектов и системы мониторинга, которая отслеживает жизнеспособность компонентов. Highload архитектура готова к сбоям в обмене данными, в работе приложений, в системной части, в сетевой работе или проблемами с производительностью. А система мониторинга непрерывно анализирует нагрузку и как бы предсказывает проблему.

Особенности архитектуры и мониторинг учитываются сразу на этапе разработки, после оптимизировать работу помогают стеки технологий.

• Использование самых современных и продвинутых языков программирования. Например, Python, как у платформы AGORA.
• Распределение и балансирование нагрузки между несколькими серверами. Золотое правило: серверные мощности распределять туда, где больше нагрузки. Если виснет каталог или 50 пользователей одновременно не могут сравнить товары, то — ускорение на сервера каталога соответственно.
• Кэширование highload — подключать серверы кэширования для быстрого отклика и качественного обслуживания.
• Репликация базы данных, т.е. создание копии базы данных в реальном времени. Может быть несколько серверов: один для записи, другие для чтения.

Также для высоконагруженных проектов используются специализированные технологии.

• Платформы для оркестрации и управления кластерами (Kubernetes), контейнеризации приложений (Docker). Такие платформы обслуживают огромное количество хостов, контролируют совместную работу, распределяют задачи между ними, контролируют нагрузку и балансировку.
• Системы управления базами данных enterprise уровня (PostgreSQL);
• Сервис самообучающегося ускоренного поиска и быстрого доступа к нужным данным — Elastic Stack и другие специализированные системы, необходимые для работы со сложными и масштабными проектами.

Важно понимать, универсальных решений не бывает. Разработка высоконагруженных проектов индивидуальна, у каждого бизнеса своя динамика. Но значимое условие для высоконагруженных систем — гармоничный подход: баланс между локальной инфраструктурой и облачными сервисами, т.е. гибридная архитектура.

Возможности HighLoad-каталога на платформе AGORA

Маркетплейс — высоконагруженный, сложный проект, однако есть возможности сократить сроки разработки и обойтись без огромного штата программистов.

Платформа AGORA позволяет создавать маркетплейсы для бизнеса B2B и B2C, которые уже готовы к HighLoad нагрузкам и масштабированию. Главные конкурентные преимущества разработки сложного сайта на заказ на базе платформы AGORA в том, что

• планирование загрузки (количество пользователей, заказов, поставщиков, импорта товаров в систему) происходит на самых первых этапах проектирования;
• в «коробке» изначально заложены инструменты масштабирования: каталог, построенный на Elastic, шина данных для конвейерной обработки данных от поставщиков и глубокий мониторинг показателей на этапе проектирования и эксплуатации.

HighLoad-каталог AGORA способен обрабатывать большие объемы данных (более 10 млн. товаров) с высокой скоростью (от 0.5 секунды), обеспечивает устойчивую работу маркетплейсов и b2b порталов, производительность, дает конкурентные преимущества. Высокая скорость загрузки страниц маркетплейса и стабильная работа цифровых сервисов – драйвер роста любой компании.

Также разработка highload проектов компании AGORA предусматривает возможность гибкого масштабирования при необходимости увеличения эксплуатационных возможностей каталога. Наращивание мощностей достигается за счет горизонтального масштабирования (добавления новых серверов) на наличия микро-сервисов в архитектуре платформы. А технология поиска OpenSearch в облаке позволяет сократить время запуска и трудозатраты, организовывает быстрый полнотекстовый поиск и хранение информации. Обычно когда количество позиций каталога значимо увеличивается, кэша системы становится недостаточно, и работа сайта замедляется. Здесь помогает Elastic Stack — хранит данные с различными структурами и дает возможность быстрого доступа. Даже если товаров или услуг в каталоге будет очень много, а информация в них будет довольно объемной, Elastic в любом случае легко справится с их сортировкой и обработкой в считанные секунды (от 0,5 сек).

HighLoad-каталог поможет:

• справиться с длительной загрузкой товарного контента;
• минимизировать ошибки;
• предотвратить зависание перехода по страницам каталога.
• горизонтально масштабироваться

Опыт более 10 лет в разработке e-commerce проектов и команда высококлассных специалистов AGORA позволяет нам в кратчайшие сроки реализовывать такие решения в B2B и B2C сегменте.

Свяжитесь с менеджером AGORA, чтобы узнать подробности создания высоконагруженных сайтов, стоимость реализации маркетплейса и познакомиться со всеми технологиями и инструментами.